缺少值被广泛称为文献中的\ textit {sparsity}，是许多现实世界数据集的共同特征。已经提出了许多插补方法来解决这个数据不完整或稀疏性问题。但是，对于给定功能或数据集中的一组功能，数据插补方法的准确性高度取决于特征值的分布及其与其他功能的相关性。困扰机器学习（ML）解决方案行业部署（ML）解决方案的另一个问题是概念漂移检测，在缺少价值观的情况下，这变得更具挑战性。尽管已经对数据插补和概念漂移检测进行了广泛的研究，但很少有工作尝试合并研究两种现象，即在存在稀疏性的情况下，概念漂移检测。在这项工作中，我们进行了以下系统研究：（i）缺失值的不同模式，（ii）各种稀疏性的各种基于统计和ML的数据插补方法，（iii）几种概念漂移检测方法，（（ iv）对各种漂移检测指标的实际分析，（v）根据基于不同指标的数据集选择最佳概念漂移检测器。我们首先将其分析在合成数据和公开可用数据集上，并最终将发现扩展到我们已部署的自动变更风险评估系统的解决方案。我们实证研究的主要发现之一是所有相关指标中任何一个概念漂移检测方法的至高无上。因此，我们采用基于多数投票的概念漂移探测器的集合来突然和逐渐概念漂移。我们的实验表明，对于所有指标，可以实现这种合奏方法的最佳或接近最佳性能。

在分散的合作多机构增强学习中，代理可以彼此汇总信息，以学习最大化团队平均目标功能的政策。尽管愿意与他人合作，但各个代理商可能会直接分享有关其当地状态，奖励和价值功能的信息，这是由于隐私问题而不受欢迎的。在这项工作中，我们引入了一种带有TD错误聚合的分散的参与者批判算法，该算法不违反隐私问题，并假设沟通渠道会受到时间延迟和数据包的删除。通过传输数据的维度来衡量，我们为做出如此薄弱的假设所支付的成本是增加的沟通负担。有趣的是，通信负担仅在图形大小上是二次的，这使得适用于大型网络的算法。我们在减小的步进大小下提供收敛分析，以验证代理最大化团队平均目标函数。

对手示例可以容易地降低神经网络中的分类性能。提出了促进这些例子的稳健性的实证方法，但往往缺乏分析见解和正式担保。最近，一些稳健性证书在文献中出现了基于系统理论概念的文献。这项工作提出了一种基于增量的耗散性的稳健性证书，用于每个层的线性矩阵不等式形式的神经网络。我们还提出了对该证书的等效光谱标准，该证书可扩展到具有多个层的神经网络。我们展示了对在MNIST培训的前馈神经网络上的对抗对抗攻击的性能和使用CIFAR-10训练的亚历纳特人。

本文考虑由马尔可夫噪声和一般共识型交互驱动的新型多代理线性随机近似算法，其中每个代理根据其本地随机近似过程演变，这取决于其邻居的信息。代理中的互连结构由时变的指向图描述。虽然已经研究了代理中的互连（至少在期望）中描述了基于协商的随机近似算法的收敛性，但是当互连矩阵简单地是随机时的情况，较少是已知的。对于任何相关的相互作用矩阵是随机的均匀强连接的图形序列，纸张导出平均误差上的有限时间界限，定义为算法从相关常微分方程的独特平衡点偏差。对于互连矩阵是随机的互连矩阵的情况，平衡点可以是在没有通信的情况下所有代理的局部均衡的任何未指明的凸起组合。考虑具有恒定和时差阶梯尺寸的情况。在需要凸起组合的情况下，任何对相邻代理之间的直平均值和相互作用可以是单向的，因此纸张不能以分布式方式实现双随机矩阵，提出了一种推挽和型分布式随机近似算法，通过利用随机矩阵的共识型算法利用分析和发展推送算法的新颖性，为时变梯度尺寸案例提供了其有限时间绑定。

培训期间的对抗性攻击能够强烈影响多功能增强学习算法的性能。因此，非常希望增加现有算法，使得消除对抗对协作网络的对抗性攻击的影响，或者至少有界限。在这项工作中，我们考虑一个完全分散的网络，每个代理商收到本地奖励并观察全球州和行动。我们提出了一种基于弹性共识的演员 - 批评算法，其中每个代理估计了团队平均奖励和价值函数，并将关联的参数向量传送到其立即邻居。我们表明，在拜占庭代理人的存在下，其估算和通信策略是完全任意的，合作社的估计值会融合到有概率一体的有界共识值，条件是在附近的最多有$ H $拜占庭代理商每个合作社和网络都是$（2h + 1）$ - 强大。此外，我们证明，合作社的政策在其团队平均目标函数的局部最大化器周围汇聚在其团队平均目标函数的概率上，这是对渐关节转移变得稳定的普发因子的政策。

在社会背景下的算法决策，例如零售定价，贷款管理，在线平台上的建议等，通常涉及为了学习而进行决策的实验，这导致受这些决策影响的人们的不公平感知。因此，有必要在此类决策过程中嵌入适当的公平概念。本文的目的是通过一种新颖的元观念来强调公平的时间概念与在线决策之间的丰富界面，以确保在决策时确保公平。考虑到静态决策的一些任意比较公平概念（例如，学生最多应支付一般成人价格的90％），如果满足上述公平概念，则相应的在线决策算法在决策时满足公平性对于任何与过去的决定相比，收到决定的任何实体。我们表明，这一基本要求引入了在线决策中的新方法论挑战。我们说明了在随机凸优化的背景下，在比较公平的约束下，在随机凸优化的背景下解决这些挑战所必需的新方法，该方法取决于实体所收到的决策，这取决于过去每个人都收到的决策。该论文展示了由于时间公平的关注而引起的在线决策中的新研究机会。

并行系统中的通信施加了显着的开销，这往往是并联机器学习中的瓶颈。为了减轻其中一些开销，在本文中，我们提出了Eventgrad - 一种具有事件触发通信的算法，用于并行机器学习中的随机梯度下降。该算法的主要思想是在并行机器学习中的随机梯度下降的标准实现中修改通信的需求，仅在某些迭代时仅在必要时进行通信。我们为我们所提出的算法的融合提供了理论分析。我们还实现了用于训练CiFar-10数据集的流行残余神经网络的数据并行培训的提议算法，并显示Evervgrad可以将通信负载降低到60％，同时保持相同的精度水平。此外，Evervgrad可以与其他方法（例如Top-K稀疏）组合，以进一步降低通信，同时保持精度。

Existing federated classification algorithms typically assume the local annotations at every client cover the same set of classes. In this paper, we aim to lift such an assumption and focus on a more general yet practical non-IID setting where every client can work on non-identical and even disjoint sets of classes (i.e., client-exclusive classes), and the clients have a common goal which is to build a global classification model to identify the union of these classes. Such heterogeneity in client class sets poses a new challenge: how to ensure different clients are operating in the same latent space so as to avoid the drift after aggregation? We observe that the classes can be described in natural languages (i.e., class names) and these names are typically safe to share with all parties. Thus, we formulate the classification problem as a matching process between data representations and class representations and break the classification model into a data encoder and a label encoder. We leverage the natural-language class names as the common ground to anchor the class representations in the label encoder. In each iteration, the label encoder updates the class representations and regulates the data representations through matching. We further use the updated class representations at each round to annotate data samples for locally-unaware classes according to similarity and distill knowledge to local models. Extensive experiments on four real-world datasets show that the proposed method can outperform various classical and state-of-the-art federated learning methods designed for learning with non-IID data.

The rise in data has led to the need for dimension reduction techniques, especially in the area of non-scalar variables, including time series, natural language processing, and computer vision. In this paper, we specifically investigate dimension reduction for time series through functional data analysis. Current methods for dimension reduction in functional data are functional principal component analysis and functional autoencoders, which are limited to linear mappings or scalar representations for the time series, which is inefficient. In real data applications, the nature of the data is much more complex. We propose a non-linear function-on-function approach, which consists of a functional encoder and a functional decoder, that uses continuous hidden layers consisting of continuous neurons to learn the structure inherent in functional data, which addresses the aforementioned concerns in the existing approaches. Our approach gives a low dimension latent representation by reducing the number of functional features as well as the timepoints at which the functions are observed. The effectiveness of the proposed model is demonstrated through multiple simulations and real data examples.

Landing an unmanned aerial vehicle unmanned aerial vehicle (UAV) on top of an unmanned surface vehicle (USV) in harsh open waters is a challenging problem, owing to forces that can damage the UAV due to a severe roll and/or pitch angle of the USV during touchdown. To tackle this, we propose a novel model predictive control (MPC) approach enabling a UAV to land autonomously on a USV in these harsh conditions. The MPC employs a novel objective function and an online decomposition of the oscillatory motion of the vessel to predict, attempt, and accomplish the landing during near-zero tilt of the landing platform. The nonlinear prediction of the motion of the vessel is performed using visual data from an onboard camera. Therefore, the system does not require any communication with the USV or a control station. The proposed method was analyzed in numerous robotics simulations in harsh and extreme conditions and further validated in various real-world scenarios.